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DISCLAMER / НЕ ПОВТОРЯЙТЕ ЭТИ СОВЕТЫ! 


Примеры приведены в сугубо 
образовательных целях и никогда не 
должны рассматриваться как руководство 
к действию. Их применение может 
привести (и приводило ранее) к _ 
катастрофическим последствиям. 


DevOps Borat @DEVOPS_BORAT · Маг 15, 2012 
ү, у Is а! fun апа дате until уои сап пої able ping it. 


_  Весна202 
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[Почему этот доклад здесь?! 


e Изначально ДОЛЖНЫ были говорить 
e про обеспечение стабильности 
e про прозрачность системы 
e про коммуникацию между разработкой и эксплуатацией 


e Но! 
• Очень много документации 


e Постоянные доклады на конференциях 
• На этой тоже есть. 
e Никому не интересно. 


9% DevOps Borat @ПРЕ\/ОР$_ВОКАТ · Маг 12, 2013 
С $7 In startup ме аге practice Outage Driven Infrastructure. 


• Было принято тяжелое решение сменить таргет аудиторию 


• Будут только боевые, проверенные примеры 


ГА HighLoad+ 
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А вы точно знаете как правильно? 


e Света Смирнова • Владимир Федорков 
e Автор книги MySQL Troubleshooting e Первый MySQL 3.23.32 поставил в 


• Работа в поддержке компаний 2001ом году 
“ MySQL АВ, Sun, Oracle • Пытался изменить с Oracle и Росіре5О1 


т • Не зашло 
e Сейчас в Percona 


• Со второй половины 200х работаю с 


“ Карьеру начинала как веб MySQL и высокими нагрузками 


разработчик 
“К осоталас ОРІ e С октября 2019-го занимаюсь MySQL 
• Зачто и расплачивается в ЕСОММРАҮ 


e За это время совместными усилиями 
сделали прод стабильным 
• Подробности были вчера в главном зале 


DevOps Borat @DEVOPS_BORAT · Маг 9, 2013 


ГА HighLoad+ 
„7 есоттрау с You сап пої able һауе ипіітії scalability without ипіітії outage. (нк) 


Убить MySQL сложно. 


• Система отказоустойчивая, быстрая и довольно надежная. 


e Простые запросы и простая логика отрабатывают быстро 
e 95%th времени выполнения запросов в нашем случае 400 наносекунд 


е Для того, что бы работало медленно и неустойчиво нужно 
последовательно усложнять 


e Конфигурацию A 
ам» ДИ») 
• Запросы < а, 
Vrh 70 
e Архитектуру приложения в целом дори Elop 


| \ HighLoad+ 
7/ есоттрау (ны з 


°+ DevOps Borat @ОЕ\/ОР5_ВОВАТ. Jan 6, 2012 
s %7 In devops record of wiki still usable is 43 day. 


конфигурация 


е Дает возможность MySQL (да и любой базе) реализовать свой 
потенциал на текушем железе. 


e Наша задача- сразу не дать MySQL никакого шанса 


e Путей два 
e Недоконфигурить 
е“ Переконфигурить 


ГА HighLoad+ 
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Вариант І: Вообще без конфигурации! 


е Неплохой вариант 
e |ппоар БиПег роо! = 128МЬ, 


e По началу все будет работать 
e Потом тоже, но не очень. 
e Плюсы: не нужно ничего делать 


• Минусы: легко понять, что конфига нет аде 
С 
З gri ` үл“ 
< вое" уо“ | 
ка оаа 
о ү of ый ог. 
ЖА туо мег 
У оте 
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Вариант ІІ: Как можно больше конфигурации 


• Меняем все значения по умолчанию, не ленимся 
e Минимум 350 параметров, что бы запутать противника 

• Цель: ни одного значения по умолчанию! 

e Важно помнить: наши помыслы чисты, все для результата! 


9% DevOps Borat @DEVOPS_BORAT · Маг 13, 2012 
© ў” Іп devops ме аге һауе few of aha moment but lot of WTF moment. 


z Три места в которые мы можем упереться 
Память 
е Диск 
e Процессор 


ГА HighLoad+ 
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Отвратительная настройка памяти 


e Память быстрая — все буфферы как можно больше 
e OOM наш други соратник 
e Ha данные не смотрим 


e Значения по умолчанию не для нас 
е Важно потом объяснить зачем меняли 


Є м бемОрв Borat ФОЕУорс 


Е ВО Эре 55 
Have title ofd орз іс nor РОКАТ . рес 3 1, 2011 


bring т 
g тоге of Money but is help of get laid 
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Диск — безопасно и быстро 


77 есоттрау 


Диск — Өезөнәене и Өыєҥрө 


(н) HighLoad++ 
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Диск- опасно и медленно! 


e MySQL пишет данные на диск 4 раза 
е Везде включаем ї<упс 
• Но только где не нужно 
• Тротлим запись и чтение для innodb 
e іппоар іо геаа {Пгеаа$ 
e іппоар іо мгіїе ћгеааѕ 


e Ломаем транзакционную систему 
e іппоар Іов їе сіге в минимум 


е Бинлоги 


e тах Біпіов сіге, sync_binlog 


(н) HighLoad++ 


Остается процессор! 


• Тротлим использование потоков 
e іппоаб їһгеаа сопсиггепсу в минимум 


e Включаем query cache 


e Основной удар по процессору могут дать только запросы 
• Особенно если данные пока помещаются в память 


77 есоттрау 


(н) HighLoad++ 


запросы 


е Обеспечивают 99,99% тормозов 
e И головную боль админов 


e Лучший MySQL запрос тот который до MySQL не дошел. 


е MySQL не сможет выполнить некоторые запросы быстро 
e Просто потому что так спроектирован 


e Как написать тормозной запрос? 


ло 2012 д хе \ 5 
‚ ай 19, ess of \оа 
4 а suce 


BOR | 
е 3 gre 
rat С D ecurity кке 
ж реуОр> БУ ме false sense оќ se 
Ж wimg 15 9 
ә 3 nothing \ 
м y 
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Обманываем оптимизатор! 


e Заворачиваем все колонки в функции 
e SELECT * FROM table WHERE ПАҮ(ЕКОМ ОМІХТІМЕ( 35 )) = 205 
°... WHERE пш INTERVAL 1 HOUR) > NOW() 

.. WHERE (c_int + 20) = 

.. WHERE EAR ((-1 &с int) << 5) % 0)) = 0х0; 


ө т) DevOps Borat @ФПРЕ\/ОР$_ВОКАТ . Jan 11, 2013 
Software project 1) Оп time 2) Оп budget 3) With quality. You сап пої able 
pick any. 
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Ограничение дизайна СУБД 


e ACID медленный! 

e В-Тгее работает только для спец. случаев 
e Запрос обрабатывается одним ядром 

• Есть Full-text индексы, они медленные 

e Про репликацию можно говорить часами 
e Как написать тормозной запрос? 


7/ есоттрау 


Не даем никакого шанса на индексы 


• Никогда не используем равенство! 

e SELECT * FROM table WHERE deleted != 1 

e SELECT * FROM table WHERE id NOT IN (1,2,3,...,10) 
e SELECT * FROM table WHERE id IN (... МНОГО!...) 

e Помните, В-Тгее это префиксный индекс! 


e WHERE url ШКЕ “%чтототам%” 
e Не путать с LIKE ‘чтототам%'! 


е Даже если индекс есть, стараемся делать range scan 


9% DevOps Borat @ОЕ\/ОР$_ВОКАТ · Feb 16, 2012 
л $7 Іп devops ме аге follow 80/20 rule: ме аге automate 80% апа ме аге leave 
hard 20% manual for job security. 
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Почему full table scan это дорого? 


e Читать всю таблицу долго 
e Пока читаем - вымываем память базы ненужными данными 


• Грузим диск D 
Ро. 
$ PN 
• Грузим процессор <<» 
%, 9; б) 
• Греем атмосферу, потребляем электричество! ОАА 
9 


• Запросы крутятся - лавеха мутится! 


е Заставляют использовать индексы? 


11 HighLoad+ 
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Высокоселективные запросы 


e SELECT * / СОЧМТ(*) FROM users WHERE астіме-1 


e Здравствуй, половина таблицы! 
e Индексы не помогают 


e Другие варианты 
е Агрегировать 5О/М(), АМС() на клиенте 


( 9% DevOps Borat @DEVOPS_BORAT - Jan 19, 2012 
© $7 Is пої гпеѓаргодгаттіпо if you аге still understand it after 2 week. 
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ИМИ 1 OFFSET 1000000000000000000000 


e Заставляет вычитывать всю таблицу даже если индексы есть 
e Выкидывает все данные кроме последней страницы 
e Вымывает все данные из бафферпула 


e Полностью эмулирует full table scan 


ж „© 
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У нас есть победитель! 


ОВОЕВ ВҮ Y RAND 


Ө коке 


Е 4. зы ach of 1 sec of make 


е Даже если стоит SELECT * ORDER BY RAND() LIMIT 1; 
*также подойдет любая сортировка HE по индексу где есть большая выборка 


‚ \ Ніећ оган 
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Писать плохие запросы руками опасно 


Со 2 


$ В, 
Бон; ОР; 
Or jun ор бры Фр 
Ор 


• В гите все видно GET 
® Лучше конечно отказаться от версионирования. 


е Могут найти и заставить переделать 
• С одной стороны это дает шанс сделать запрос еще хуже! 
e Но ведь могут отревьювить! 


е Выход есть! 


ГА HighLoad+ 
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Используем ОКМ! 


• Готовые запросы любой ужасности! 
e Вы не виноваты! 

e Исправить невозможно! 

e У вас же модель данных!!! 


| \ HighLoad+ 
7/7 есоттрау (ну) немое 


Больше логики приложения в базе! 


e Foreign keys / Cascading 
e Триггеры тоже неплохо. 
e Хранимые процедуры- сразу победа! 


Borat (ОПЕУОР5 ВОВАТ · Dec 17, 2011 


с is show 60% of email is spam апа 20% сап ignore. Other 
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Репликация! 


• Кольцевая репликация 
е Желательно без СТО 


е Большие пачки на запись 
е Пригодятся любые тяжелые миграции 


ө Чч? у DevOps Borat @ОЕ\/ОР5_ВОВАТ. Jan 3, 2013 
асу system. Іп modern distributed database with eventual 


y ў 14 | A a у У $ 
consistent is 1+1=1. 
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Подводя итоги 


e Конфигурация быстрое — но ненадежное решение 


e Можно найти и быстро поменять 


e Запросы- надежнее 
e Сложнее исправить 
е Дольше переписать 


e Поменять логику иногда очень дорого 


e Особенно, если у вас ОКМ 


7/ есоттрау 
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Важно вовремя не увидеть проблему 


• ЕХРІДІМ для лузеров 


“ Мониторинг лишний ^а 
227 
е Графики не в коем случае! 2%. 
5% 
“Про РММ забыть сразу: сложно, трудно и дорого! 5% 
e Графики вообще непонятные! 5% 
о 
• [можно без этого] 2% 
2 О 
5%, 
ч 
в 5 
© > 
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Другие мудрости 


e Увидел- промолчи! 
e Подари товарищу незабываемую ночь! 


е Лучший деплой — в пятницу вечером! 

e Самые надежные миграции - в пиковое время 

e Работы лучше делать когда дежурные уже ушли спать 
e Проснулся ночью — поработай! 


9% DevOps Borat ©ФОЕҮОРЅ ВОКАТ. Jan 28, 2012 
ғ %7 Optimist 15 деуорѕ who is ignore first 2 Nagios alert. 
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Почему то, о чем мы сегодня говорим — важно? 


e Ковид увеличил нарузку на online системы 

e Электронные компоненты становятся дефицитными 

• Сроки поставок сдвигаются 

• Стоимость идет резко вверх, а деньги дешевеют 

• Стоимость масштабирования растёт 

e Необходимость оптимизации будет вставать все острее 
cY DevOps Borat @DEVOPS_BORAT - Арг 19, 2012 


5% of devops are have infrastructure as code. Rest of 95% are have 
infrastructure as PowerPoint. 
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Что делать? 


e Конференции 
e Вы по адресу! 


Книги 
е MySQL Troubleshooting 
e MySQL по максимуму (High Performance MySQL) 


e Online вебинары n доклады 
е Практика-практика-практика. 


• И конечно почитать https://twitter.com/devops borat 


9% DevOps Borat @ОЕ\/ОР$_ВОВАТ · Feb 1, 2012 
б $7 Іп startup ме һауе МоОрз. АП sysadmin request аге до direct їо СЕО. 


ГА HighLoad+ 
2 есоттрау н) 


Где получить практику? 


e Работая с реальным проектом 
e В грамотной команде 


e Первое время с наставником 
e Который будет тебя тащить 


е Решать сложные для себя задачи 


74 DevOps Borat @ОЕ\/ОР$_ВОКАТ · Маг 17, 2012 
е, Ұ7 Ifyou аге пої маке ир of Nagios minimum 2 time рег week, your 
technology is пої sufficient cutting-edge. 
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DevOps Borat @DEVOPS_BORAT · Маг 25 


0% Not Invented Неге. 


Іп аеуорѕ ме һауе success is 10% inspiration апа 9( 


Спасибо! 
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